Việc chế tạo lớp tàu khu trục Mutsuki được chấp thuận như một phần của chương trình phát triển Hải quân Đế quốc Nhật Bản sau khi Hiệp ước Hải quân Washington có hiệu lực, và chúng được đặt hàng trong năm tài chính 1923.[3] Lớp tàu này là một phiên bản nối tiếp và cải biến dựa trên các lớp tàu khu trục lớp Minekaze và Kamikaze trước đó, vốn chia sẻ nhiều đặc tính thiết kế chung.[4] Yayoi được đặt lườn tại xưởng tàu Uraga Dock Company vào ngày 11 tháng 1 năm 1924, được hạ thủy vào ngày 11 tháng 7 năm 1925 và được đưa ra hoạt động vào ngày 28 tháng 8 năm 1926.[5] Thoạt tiên chỉ được gọi đơn giản là "Tàu khu trục số 23" (第二十三号駆逐艦, Dai-23-Gō Kuchikukan), nó được đổi tên thành Yayoi vào ngày 1 tháng 8 năm 1928.